人文学科研究评估的未来

您所在的位置:网站首页 人文学科 研究方法 人文学科研究评估的未来

人文学科研究评估的未来

2024-07-01 10:03:40| 来源: 网络整理| 查看: 265

尽管饱受文献计量学家、科学计量学家和SSH学者的争议,但SSH研究评估仍不断开展。通常研究评估过程以自上而下的方式实施。但有一些举措反映了SSH研究的特点,下文将重点关注来自SSH研究社区或至少由SSH学科的学者开发的计划。他们的方法真正考虑到了SSH研究实践,至少解决了上一节中提到的一个问题。虽然这些自下而上的举措更有可能被SSH学者接受,但其中一些仍然面临强烈反对。

3.1 改进数据库

一些国家在努力提高数据库覆盖率。也有人试图为欧洲创建一个全覆盖的书目/书目计量数据库,但它并未能成为在欧洲范围内展开的数据库或标准。与此同时,ERIH项目打算为SSH创建一个欧洲期刊列表,以克服主要文献计量数据库中SSH(欧洲)期刊代表性不足的问题,但该项目遭到强烈反对不得不进行改进,并以ERIHPlus的名义重新启动。

学界也会在学科层面尝试创建适合人文学科的出版物数据库。EERQI项目中包含了这样一个欧洲教育科学数据库,该数据库允许学者使用一种语言的关键字检索出版物,但能够检索出数据库中涵盖的所有四种语言的结果。因此,除了评估之外,集中和系统地覆盖SSH成果似乎具有多种潜在好处,例如方便学者的信息检索、扩大对多语言出版物的访问。

人们越来越意识到需要编译完整且可互操作的SSH学术成果和非学术成果数据库,以便准确了解这些非常多样化的人文学科。同时,创建此类数据库应与制定有关其使用的标准齐头并进,包括关于如何不使用它们的标准。

3.2 面向SSH的文献计量学和科学计量学方法

将文献计量学和科学计量学文献计量分析应用于SSH学科会面临许多问题。Hammarfelt观察到从研究覆盖问题,到研究SSH出版实践的特征和开发对SSH研究领域敏感的文献计量方法的转变。这包括但不限于将文献计量分析扩展到相对较新的Book Citation Index、使用其他数据库如Google Scholar或来自社交媒体的数据(即所谓的altmetrics)、分析图书馆目录、探索覆盖全面的国家数据库、将数据扩展到研究资助提案中的参考文献或书评。从更务实的角度来看,学界试图“权衡”各种输出。

虽然大部分研究是由文献计量学家和科学计量学家完成的,但SSH学者仍在调查他们学科的研究实践,例如引用实践、数据库的影响、文献计量指标与研究实践的关系。此外,SSH学者进行了更多的方法分析,例如研究评估过程的评价者可靠性、文献计量方法和同行评议方法之间的相关性。Hammarfelt要求建立“人文学科的文献计量学”,而Zuccal进一步要求文献计量学家向文科学生教授文献计量学,以便“能够成功地出现新一代人文文献计量学家”。

综观SSH中文献计量学和科学计量学的现状,文献计量学方法不能随意用于SSH研究评估,但是适应SSH的文献计量学有助于研究一些对SSH很重要的实践。一些定量指标如果是自下而上定义的,即从学科内部定义,也可用于补充同行评议。

3.3 SSH研究资助

第三方资助意味着事前研究评估。大多数事前评估都是基于同行评议,但也有许多评估基于文献计量数据。STEM和SSH学科之间的资助分配存在巨大差异:

一是源于对STEM和SSH研究实践的认识不同。只有少数SSH学者需要昂贵的仪器来进行实验,大多数SSH学者需要的是电脑、获取档案、差旅费和研究时间。因此,在大多数SSH学科中,第三方资助在很长一段时间内都没有发挥作用,而且资助金额通常相对较低。

其次,SSH学者认可同行研究成果的方式与STEM研究人员大不相同。SSH学者的批评要多得多,他们甚至批评他们认为优秀的作品,“批评”被认为是“欣赏”的证明。由于SSH学者总是批评他们同事的工作,SSH学者经常在跨学科资助计划中受到歧视。

第三,在STEM学科中,范式问题通常在内部存在争议,而在外部存在连贯性。然而,SSH学科允许其领域内部的多样性。当然,这源于对学术工作的不同理解——STEM学科的“线性进步”与SSH学科“持续增长的知识库”,但这也是缺乏组织的结果,这导致了SSH学科进一步的边缘化。

与此同时,一些资助者并未吸引到来自SSH学科的很多提案,也许是因为过去的经验显示提案有可能会被拒绝。因此, Stiftung等创建了一个面向人文学者需求的资助计划,名为“关注人文”。此外,大众汽车基金会(Volkswagen Stiftung)制定了一份关于如何识别人文学科知识质量的指导方针,这些指导方针是在与知名学者和年轻学者的研讨会上自下而上收集的。

3.4 SSH的研究实践和研究质量标准

要评估研究,首先应明确什么是“好”研究,因为任何评估都会指明“高质量”研究或试图判断哪些研究“更好”。然而,学界对研究质量的实际含义知之甚少,尤其是在SSH中。关于研究评估的文献常回避这个话题,而现有的研究评估工具和过程并不包括对研究质量的明确理解。因此,如果要对SSH研究进行适当的评估,就必须了解这些学科中研究质量的实际含义,且评估过程必须与被评估学者对研究质量的认识相关。

近百年来,学者们详细分析了STEM学科,尤其是自然科学的研究实践;然而,直到最近,新兴的科学社会研究领域都忽视了SSH学科。目前文献是这样描述SSH研究的特点的:①SSH研究是说明性的,即人文研究主要是文本和理论驱动,社会科学更多是概念驱动,而自然科学是为了回答具体问题并以进步为导向;②具有反思性,并通过促进话语争论和竞争愿景,在学术界引入新观点。对社会而言,他们培育了作为民主先决条件的批判性思维,或对现代趋势(如技术化)的批判性审查做出贡献;③主要是个人的;④生产力对于SSH的评估并不那么重要;⑤社会导向很重要,即研究旨在影响社会,与社会的直接互动是SSH研究的一部分;但是⑥社会或学术界以外的其他利益相关者(例如外部资助)对SSH研究的影响常是负面评价。在评估SSH研究时必须考虑这些特征。

相应的,SSH学者有几个自下而上的项目来分析如何在SSH学科中评估质量。欧洲教育研究质量指标(EERQI)项目始于对当前教育研究的评估实践的不满,该项目从2008年持续到2011年,旨在开发一套工具(不是排名或评级或单一指标)来检测研究质量。该项目区分了外在质量指标,即非文本固有的质量指标(如引用次数、网络计量学、作者身份)和内在质量指标,即文本固有的指标。这套工具的一部分是同行评议问卷,其中包括教育研究的五个内在质量标准:严谨、原创、重要、风格和完整,该标准是与该领域的专家合作制定的。该项目还包括一个探索性的自然语言处理系统,用于突出文章中最重要的句子。该工具背后的想法是通过将他们的注意力引导到文章最重要的部分来帮助审稿人判断文章的质量。使用该工具进行的测试表明,STEM学科中的文本遵循清晰的结构并显示出自动突出显示的巨大潜力,但SSH学科中的文章不遵循这种标准结构。

同样针对教育研究,Oancea等制定了研究评估标准。他们认为教育研究以实践为基础,并指出此类研究不仅限于科学性(即普遍发现甚至规律的发现)、影响力或经济效率,还包括方法论贡献和理论严谨性、道德和个人成长等。他们认为,基于实践的研究评估必须应对研究与实践的纠葛。他们得出了结论,研究评估需要重新整合在当前研究评估话语体系中丢失的文化和哲学维度。

Guetzkow等选择了一种更具描述性的方法。他们分析了来自多学科课题资助竞争的同行评议小组成员的采访,发现原创性是最常被提及的标准。因此,他们专注于分析独创性,并发现不同学科对独创性的定义不同:人文学者经常提到数据和方法的独创性,而社会科学家则强调方法的独创性。然而,除了原创性之外,还有其他重要标准,例如清晰度、社会相关性、跨学科性、可行性、重要性。这些标准不一定是判断研究质量的标准,而是资助的建议。

一个名为“制定和测试人文研究质量标准”的项目采用了严格的自下而上方法,开发了用于探索和发展SSH研究质量标准的框架。它由四大支柱组成:采用由内而外的方法(代表学术界和年轻学者、学科特定标准);应用合理的衡量方法(将指标与学者的质量标准联系起来);明确质量概念 (从学者对研究质量的隐性认识中得出标准、标准的透明性);争取达成共识(用于研究评估的方法和标准必须被群体接受)。

在对法律研究的研究评估进行广泛调查的背景下,Lienhard等人提出了法律研究的质量标准,并用法律研究中的学科特定标准对其进行了补充。作为一门与专业密切相关的学科,作者也将专业人士(律师)纳入分析,发现教授和律师在质量标准偏好上存在差异,例如教授比律师更强调独创性、反身性和理论可靠性,而清晰的语言和正确性对律师来说更为重要。除了区分不同利益相关者(例如教授、律师或资助者)的评估外,他们还区分不同的评估情况,例如研究评估、论文和资格评估或学术期刊评价。

在法国,MSHB支持了两个与人文学科研究评估相关的自下而上的项目。第一个项目是IMPRESHS,旨在调查来自不同SSH学科的布列塔尼学者所进行的研究的传播实践和影响路径。通过焦点小组访谈和对简历的全面分析,该项目试图确定在学术界以外具有潜在影响的出版物,以及SSH研究人员的非学术利益相关者。该项目的目标是了解SSH学者与利益相关者建立了什么样的关系,以及在法国发现共同创造知识的实践的程度。第二个项目QualiSHS研究了AERES生成的评估报告如何反映质量的学科表征。研究者使用语料库语言学的方法和工具,对2010-2011年关于法国两个地区(布列塔尼和罗纳-阿尔卑斯)的所有历史和法律研究单位的所有评估报告进行了仔细审查,以了解同行专家如何评估产出的质量。研究同时开展了采访加以论证。但来自两个调查领域的专家对质量的看法存在分歧——这一发现与其他研究指出的SSH学科在研究质量概念化方面的多样性一致——而报告似乎没有充分回应这些细节。因此,毫不足怪,法国SSH学者认为AERES进行的评估总体上不令人满意,并呼吁对此进行彻底修改。

3.5 国家层面研究评估实践与SSH

有几个国家层面的项目从自下而上的角度对SSH进行评估,或者设计模型以反映SSH的特性:

“挪威模式”在过去几年引起了相当大的关注,并且在多个国家(比利时-佛兰德斯、丹麦、芬兰和葡萄牙)推行。挪威模式是一种基于绩效的资助模式,它“平等和适当地代表所有研究领域”。该模型的设计是一种“简单的务实妥协”:一个文献计量指标全面涵盖所有研究领域,而非个别学科出版实践的几个代表。它由三部分组成:一个国家数据库,完全涵盖所有学科的同行评议学术成果;一个简单的出版指标,用于划分1级和2级出版物;基于绩效的资助模型,根据指标结果重新分配一小部分年度资助。该系统受到很多SSH学者的关注。最初的反响是负面的,因为它将学术成果转化为衡量标准,而且该系统的设计并未涵盖所有学术活动。但对该系统的评估表明,学者对该系统没有重大不满。

在荷兰,2005年,皇家艺术与科学学院在一份名为《评价研究的功过》的报告中批评了自然科学和生命科学的评价方法在荷兰评估实践中的主导地位,并要求给出评估SSH学科的具体方法。2009年,国家人文学科未来计划委员会表示,现有的评估工具不足以判断人文学科研究的质量,并建议学院制定一个简单、明确和有效的人文学科指标体系。因此,学院设立了人文学科质量指标委员会,其报告于2011年发表。委员会将人文学科的研究评估情况总结如下:一些政策制定者希望用简单和纯粹的计量系统比较研究团队甚至学科之间的研究质量,另一方面,人文学科普遍反对“计量”研究质量和管理工具。因此,委员会提出了一个中间解决方案,支持将同行评议过程应用于SSH研究评估。同行评议员从两个维度评估研究,即学术产出和社会质量,每个维度都包含三个标准,即学术/社会出版物或成果、学术/社会对成果的使用、学术/社会认可的证据。这些标准中的每一个都可以通过一些定量指标来衡量,以辅助同行决策。

德国科学与人文委员会(Wissenschaftsrat)于2004年针对大学排名的现象,批评其方法和有效性并提出相关建议。它建立了一项全面的试点研究,以制定和测试化学学科和社会学学科的国家研究等级。社会学的研究评级结果很好,但也遭到了批评,特别是小组全体讨论的不透明性影响了同行判断的独立性。2008年,Wissenschaftsrat在历史学科进行试点研究以改进评级过程。然而,对历史的评级最终以德国历史学家协会的抵制告终。Mair认为,历史学家的抵制主要是由于Wissenschaftsrat沟通不畅,最终形成了自上而下强加的评估。为了使自下而上的意图更加明确,Wissenschaftsrat创建了一个工作组来改良评级过程从而适应人文研究的特点。2012年,Wissenschaftsrat进行了人文学科的试点研究。虽然仍然反对量化式的评级,但英美研究协会决定参加这项活动。Wissenschaftsrat认为此次活动表明这种评级在人文学科中是可行的;参与实验的人文学科学学者承认Wissenschaftsrat为使评级过程适应人文学科所做的努力,但也指出了其消极影响。

在瑞士,瑞士大学校长会议(CRUS,自2016年1月1日起称为swissuniversities)于2008年发布了一份名为《大学质量的瑞士之路》的研究评估文件,其中包括质量监控的十项建议。据CRUS称,每所瑞士大学都有自己的专业。因此,评级必须适应每所大学的情况。国家层面的评估程序没有多大意义,相反,每个大学都应该建立自己的质量保证体系。相应的,CRUS启动了一个名为“Mesurer les performances de la recherche”的项目,该项目专注于SSH研究的多样性,特别关注学科间的差异和特殊性。与此同时,瑞士人文社会科学院(SAGW)启动了一项自下而上的评估建议,对SSH学科的研究评估进行反思。在“人文学科的新文化”学术会议之后,SAGW发布了一份关于人文学科新发展的文件,包括评估实践的建议,强调了自下而上定义质量标准和方法的重要性。

3.5 欧洲层面自下而上的举措

在大学或国家层面应用的不同评估过程、ERC资助计划中对SSH研究的首先排斥、以及Horizon 2020计划中对SSH的严重削减,使SSH学者对研究评估主题产生了更高的兴趣。正如以上部分所示,对SSH的评估研究有所增加。更重要的是,SSH学者与关注SSH研究评估状况的科学计量学家(通常是SSH学者本身)在一个名为EvalHum initiative的欧洲协会中合作。EvalHum旨在激励和支持SSH自下而上的研究评估工作,并鼓励SSH研究评估的实践,以确保对各个学科展开适当的评估程序。

目前,一项名为“人文社科研究评估网络(ENRESSH)”的COST行动汇集了来自30个欧洲国家的SSH学者,共同改进SSH的评估过程。该行动背后的想法是“价值评估”,因为采用不适用的方法会导致SSH研究被低估。该行动的参与者共享有关SSH研究的数据,撰写了合著的出版物、政策简报、最佳实践合集,并最终形成了SSH研究评估指南。ENRESSH还寻求让不同的利益相关者在评估原则和过程中拥有发言权。该行动由4个工作组组成。工作组1侧重于SSH研究评估的概念框架,并研究SSH的知识生产过程和策略,工作组2是关于SSH研究的社会影响,工作组3关注数据库和数据的使用,工作组4负责行动结果的传播。



【本文地址】

公司简介

联系我们

今日新闻


点击排行

实验室常用的仪器、试剂和
说到实验室常用到的东西,主要就分为仪器、试剂和耗
不用再找了,全球10大实验
01、赛默飞世尔科技(热电)Thermo Fisher Scientif
三代水柜的量产巅峰T-72坦
作者:寞寒最近,西边闹腾挺大,本来小寞以为忙完这
通风柜跟实验室通风系统有
说到通风柜跟实验室通风,不少人都纠结二者到底是不
集消毒杀菌、烘干收纳为一
厨房是家里细菌较多的地方,潮湿的环境、没有完全密
实验室设备之全钢实验台如
全钢实验台是实验室家具中较为重要的家具之一,很多

推荐新闻


图片新闻

实验室药品柜的特性有哪些
实验室药品柜是实验室家具的重要组成部分之一,主要
小学科学实验中有哪些教学
计算机 计算器 一般 打孔器 打气筒 仪器车 显微镜
实验室各种仪器原理动图讲
1.紫外分光光谱UV分析原理:吸收紫外光能量,引起分
高中化学常见仪器及实验装
1、可加热仪器:2、计量仪器:(1)仪器A的名称:量
微生物操作主要设备和器具
今天盘点一下微生物操作主要设备和器具,别嫌我啰嗦
浅谈通风柜使用基本常识
 众所周知,通风柜功能中最主要的就是排气功能。在

专题文章

    CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭